![]() 画像識別のための特徴ベースの識別特性(signature)
专利摘要:
画像の表現を導出するための方法を記載する。本方法は、画像に対応する信号を処理することを含む。画像を代表する、該画像の少なくとも一つの領域を識別する。一実施の形態では、各識別される領域は画像の特徴に対応する。識別された画像領域毎に、該画像領域の少なくとも一部分の二次元関数を導出し、該二次元関数を処理して、該画像領域の少なくとも一部分の中間表現を取得する。該画像領域の少なくとも一部分の中間表現から画像の表現を導出する。 公开号:JP2011511340A 申请号:JP2010541834 申请日:2008-06-30 公开日:2011-04-07 发明作者:ブラスネット、ポール;ボバー、ミロスロー 申请人:ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィMitsubishi Electric R&D Centre Europe B.V.; IPC主号:G06T7-00
专利说明:
[0001] 本発明は、画像を表現するための方法及び装置、並びに、加えて、例えば検索又は検証する目的で画像を比較又は照合するための方法及び装置に関する。] 背景技術 [0002] 本発明は、先願の同時係属中の欧州特許出願第06255239.3号、並びに英国特許出願第0700468.2号、英国特許出願第0712388.8号、及び英国特許出願0719833.6号に開示される画像識別技法に対する改善に関する。それらの特許文献の内容は参照により本明細書に援用される。それらの先願の同時係属中の特許出願に開示される発明の詳細及び実施の形態は、本発明及び本発明の実施の形態にも同様に適用される。] [0003] 欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に記載される方法及び装置において使用される画像識別技法はそれぞれ、画像から短いバイナリ記述子を抽出する(図2を参照されたい)。これらの技法は、従来技術の多くの欠点に対処すると共に、特に以下によって特徴付けられる: ・特徴抽出及び特徴照合の双方の計算複雑度の低減 ・画像記述子サイズの低減 ・様々な画像の変更に対するロバスト性の増加、及び ・広範囲にわたる画像の変更に関して99.8%の検出率を通常維持しながら、誤報率を0.05ppm(百万分率)レベルへ低減。] 図2 [0004] これらの方法は、多くの一般的な画像変更に対する非常に高レベルのロバスト性を提供する。しかしながらこれらは、平行移動及びクロッピングのように、画像コンテンンツの重要な部分が欠損するか又は置き換えられる、或る特定の種類の画像変更に対し、必要とされるレベルのロバスト性を提供しない場合がある。] [0005] したがって、画像コンテンツの部分的な欠損を伴う或る特定の種類の画像変更に対するロバスト性を大きく改善することが所望されている。] [0006] 第1の態様によれば、本発明は、添付の請求項1において定義される、画像の表現を導出する方法を提供する。] [0007] 第2の態様によれば、本発明は、本発明の第1の態様に従って導出される画像の表現を比較することによって、例えば画像照合のために画像を比較するための方法を提供する。] [0008] 本発明の他の態様は、本発明の第1の態様に従って導出される画像表現の使用、本発明の第1の態様及び/又は第2の態様による方法を実施するための装置及びコンピュータプログラムを含む。] [0009] 本発明は、領域ベースのトレース変換記述子によって記述される少数の対象領域に基づいて画像を表現する新たな手法に関する。本発明は画像照合の新たな方法にも関する。] [0010] 本発明の実施の形態によれば、対象点又は特徴点から成る代表的な小さな集合が画像から選択される。選択手順において、予め選択された特徴の周囲の除外区域のような制約条件が使用される。変更されたトレース変換ベースの方法を使用して、各選択された対象領域からバイナリ「特徴識別特性(feature signature)」が抽出される。特徴識別特性を使用して、特徴の局所近傍を特徴付ける。画像は、複数の局所特徴識別特性及びそれらの幾何学的関係によって表現される。] [0011] 本発明の実施の形態によれば、画像照合手順は、累積ハミング距離を使用して特徴点の一致する対の候補集合を迅速に識別し、その後、本方法の正確度を増大させるために幾何学的制約条件を適用することを含む2段階のプロセスとして実施される。特に、画像から選択される特徴点の配置によって提供される情報は、誤報率を大幅に低減するのに役立つ。また、幾何学的情報を使用して、画像変換の種類及び変換パラメータを確定することができる。] [0012] 本発明の実施の形態は、欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に記載される画像識別装置及び画像識別方法を補うように意図される。本発明は、有利には或る特定の画像変更に対するさらなるロバスト性を提供する。しかしながら、最新技術による処理資源を使用すると、本発明の技術の単独の使用は、検索速度の観点から、上記で参照した先願の同時係属中の特許出願において提案される技法と同じ性能を提供しない場合がある。特に、本発明の実施の形態による潜在的な特徴対の識別プロセスは、従来提案された方法より少なくとも1桁遅い場合がある。本発明による方法及び先願の同時係属中の特許出願の1つ又は複数の方法を単独で使用することができるが、これらの方法を組み合わせることが好ましい。このようにして、下記で示すように、より早い方法を使用した結果を、さらに分析するために、本発明による比較的低速な方法に渡すことができる。速度、誤検出率、及びロバスト性の観点からの性能利得は、組み合わせて適用すると最大になる。] [0013] 本発明の他の特徴及び利点は、以下の説明及び添付の特許請求の範囲から明らかとなるであろう。] [0014] ここで、添付の図面を参照して本発明の実施形態を説明する。] 図面の簡単な説明 [0015] 画像を示す図である。 図1aの画像を縮小したバージョンを示す図である。 図1aの画像を回転させたバージョンを示す図である。 図1aの画像をぼかしたバージョンを示す図である。 図1aの画像を(左右に)反転させたバージョンを示す図である。 図1aの画像を大きく圧縮したバージョンを示す図である。 図1aの画像をクロップしたバージョンを示す図である。 従来技術による画像及び該画像のビットストリング表現を示す図である。 勾配ベースの特徴検出器によって検出される対象点の集合例を示す図である。 特徴が一切選択されない画像境界領域、及び強度に基づく最終的な特徴集合を示す図である。 原画像からのハミング距離を使用して一致することがわかった対象点を示す図である。ここで、対象点間の線長を使用して、配置制約を適用する。 図5aを回転させた変形からのハミング距離を使用して一致することがわかった対象点を示す図である。ここで、対象点間の線長を使用して、配置制約を適用する。 本発明の一実施形態による装置のブロック図である。] 図1a 図5a 実施例 [0016] 画像の表現、具体的には画像識別子を導出すると共に、そのような表現/識別子を、例えば1つ又は複数の画像の識別、照合又は検証のために使用する様々な実施形態を以下に説明する。本発明は、画像を識別するために特に有用であるが、画像の識別に限定されるものではない。説明する実施形態において、「画像識別子」(単純に「識別子」、「識別特性(signature)」、又は「画像識別特性(image signature)」とも呼ばれる)は画像の表現の一例であり、この用語は単に画像の表現又は記述子を表すのに使用される。] [0017] 当業者であれば、本発明の一実施形態による画像識別装置及び画像識別方法の具体的設計の詳細、並びに画像識別において使用するための画像識別子の導出は、画像識別子がロバストであるべき画像の変更の種類、識別子の大きさ、抽出及び照合の複雑度、目標誤報率等に関連する要件によって決まることを理解するであろう。] [0018] 以下の例では、画像に対する以下の変更に対してロバストな識別子をもたらす一般的設計を示す(これは網羅的なリストではない): ・色数削減、 ・ぼかし、 ・明るさの変更、 ・反転(左右及び上下)、 ・階調変換、 ・ヒストグラム等化、 ・JPEG圧縮、 ・ノイズ、 ・回転、 ・クロップ、 ・スケーリング、 ・平行移動、 ・スキューイング、及び ・視点変更(Perspective change)。] [0019] 提案される設計は通常、広範な種類の画像に対する10ppm(百万分率)未満の低い誤報率、及び95.0%を超える通常検出率を達成することができることがわかっている。] [0020] 図1は、画像の一例及びその画像の変形バージョンを示す。より具体的には、図1aは原画像であり、図1bは図1aの画像を縮小(スケーリング)したバージョンであり、図1cは図1aの画像を回転させたバージョンであり、図1dは図1aの画像をぼかしたバージョンであり、図1eは図1aの画像を反転させたバージョンであり、図1fは図1aの画像を圧縮したバージョンであり、図1gは図1aの画像をクロップしたバージョンである。] 図1a 図1b 図1c 図1d 図1e 図1f 図1g [0021] 本発明の一実施形態は、画像に対応する信号及び/又は画像データを処理することによって、画像の表現、及びより具体的には画像識別子を導出する。] [0022] 欧州特許出願第06255239.3号明細書、英国特許出願第0700468.2号明細書、英国特許出願第0712388.8号明細書、及び英国特許出願0719833.6号明細書に整合して、画像識別子の抽出の最初の段階において、画像はサイズ変更及びフィルタリングによって任意選択で前処理される。サイズ変更ステップは、処理前に画像を正規化するために使用される。フィルタリングステップは、エイリアシングのような効果を除去するためのフィルタリングを含むことができ、領域選択及びテーパリングも含むことができる。一実施形態では、画像は、192×N又はN×192の解像度にサイズ変更され(ここでN≧192である)、縦横比を維持する。別の実施形態では、画像は192×192の正方形にサイズ変更される。次に、画像は3×3のガウスカーネルを用いてローパスフィルタリングされる。画像の中心から円形領域がさらなる処理のために抽出される。前処理ステップは任意選択であり、上記のものの任意の組み合わせを含むことができる。] [0023] 次の段階において、画像内で対象点を検出する。一実施形態は、特徴検出器を使用して、画像勾配の測定に基づいて、画像内の潜在的な特徴及びそれらの強度を検出する。1つの適切な画像勾配特徴検出器は、ハリス特徴検出器である。ハリス特徴検出器を図2の画像に適用した結果例を図3に示す。選択手順を適用して、代表的な特徴集合を選ぶ。一実施形態において、最大16個の特徴が選ばれる。特徴が一切選ばれない画像のエッジの周囲に境界を設定する。この実施形態では、境界は幅16ピクセルである。検出された特徴の中の許容可能な特徴から最も強い特徴を最初に選択する。特徴が以前に選択された特徴の周囲の除外区域内にある場合には該特徴は選択されないという制限で、後続の特徴が強度順に選択される。一実施形態では、10ピクセルの半径を有する円形領域を除外区域として使用する。選択プロセスは、所定の数の代表的な特徴(たとえば好ましい実施形態では16ピクセル)が選択された場合か、又はこれ以上特徴が残っていない場合に終了する。図3において検出された特徴から選択される特徴集合を図4に示す。] 図2 図3 図4 [0024] ここで特徴点(又は対象点)のロケーションが選択されているが、それらの位置は、好ましくは、たとえばインターネット上でhttp://opencvlibrary.sourceforge.net/CvReference, reference [I])において取得することができるOpenCV(FindCornerSubPix)03/01/2008において記載されるような方法を使用して、サブピクセル解像度に精緻化(リファイン)される。] [0025] 参照により本明細書に援用される英国特許出願0719833.6号明細書において、バイナリ画像識別特性又は画像表現を抽出するための方法が開示される。本発明の一実施形態では、英国特許出願0719833.6号明細書の方法を適用して、特徴点の周囲の領域からバイナリ「特徴識別特性」を抽出する。] [0026] このため、各特徴識別特性は、検出される特徴に関連付けられる画像領域のバイナリ表現である。一実施形態では、32ピクセルの半径を有し特徴点を中心とする円形画像領域が選択され、該画像領域に関してバイナリ識別特性が計算される。円形領域は、好ましくは、たとえば三次補間法を使用して、サブピクセルレベルの精度で抽出する。次に、英国特許出願0719833.6号明細書による方法を使用して、抽出した領域を処理して対応する画像識別子を導出する。この方法の概要が下記で提供される。] [0027] 画像領域のトレース変換T(d,θ)は、d、θによってパラメータ化される全ての可能な線を画像に射影し、これらの線に第1の汎関数Tを適用することによって実施される。英国特許出願0700468.2号明細書に開示される方法に従って、トレース変換の結果を分解して、該トレース変換の次元d、θのいずれか又は双方において該トレース変換の解像度を低減することができる。欧州特許出願第06255239.3号明細書、及び英国特許出願第0700468.2号明細書の方法のように、第2の汎関数Pをトレース変換の列に適用して、実数のベクトル(すなわち一次元関数)を得ることができる。この第2の汎関数Pは対角汎関数(diametrical functional)として知られ、結果として得られるベクトルはサーカス関数(circus function)として知られる。] [0028] 第3の汎関数であるサーカス汎関数をサーカス関数に適用して、単一の数を得ることができるが、このステップは好ましい実施形態では使用されない。] [0029] 代替的に、英国特許出願0719833.6号明細書の方法に従って、上記で論考したサーカス関数に対する代替としていわゆる「帯サーカス関数(band-circus function)」を取得してもよい。帯サーカス関数は、値をトレース変換の一部分のみから選択及び処理することによって、トレース変換を画像の線の部分集合に限定する。] [0030] 第1の汎関数、第2の汎関数、及び/又は第3の汎関数(トレース関数、対角関数、及びサーカス関数)を適切に選ぶことによって、結果の特性を制御することができる。] [0031] 周波数表現を介して、サーカス関数(又は帯サーカス関数)から画像領域に関するバイナリ識別子を抽出する。たとえば、フーリエ変換の複数の絶対値の係数(magnitude coefficients)について関数c(ω)を定義することができる。この関数の1つの例示は、隣接する係数の差分を取ることである。 c(ω)=|F(ω)|−|F(ω+1)|] [0032] 結果として得られるベクトルに、以下となるように閾値を適用することによってバイナリストリングを抽出することができる。] [0033] 全てのωについて] [0034] Sに関する適切な選択は、S=0及びS=mean(c)を含む。次に、これらのバイナリストリング値B={b0,...,bn}から画像領域のバイナリ表現を構築する。] [0035] 本発明の一実施形態では、(英国特許出願0719833.6号明細書におけるように画像全体を使用するのとは対照的に)局所画像領域を使用するため、該特許文献に記載される識別特性抽出技法に対し複数の変更を加える必要がある。特に、欧州特許出願第06255239.3号明細書に開示される方法に従って、汎関数 max(ξ(t)) (1) 及び ∫|ξ(t)’|dt (2) を使用して、完全トレース変換のサーカス関数から2つの識別子を抽出する。] [0036] 欧州特許出願第0700468.2号明細書に開示される方法に従って、トレース変換の距離(d)パラメータを8分の1、16分の1、及び32分の1に分解(又はサブサンプリング)し、式(1)及び式(2)の双方を適用することによって取得されるサーカス関数からさらなる6つの「マルチ解像度」識別子を抽出することができる。] [0037] 欧州特許出願第0712388.8号明細書に開示される方法に従って、トレース変換における帯からさらなる3つの関数を選択し、欧州特許出願第0719833.6号明細書に開示される方法に従って、トレース環形関数から2つの関数を抽出するとともに、トレース円形関数から1つの関数を抽出する。] [0038] これらの14個の成分識別子のそれぞれは8ビットであり、各特徴識別子の総計は112ビットとなる。特徴点の(前処理された画像における)座標を、対応する特徴/画像領域に関する幾何学的情報として、識別子と共に記憶する。任意選択で、112ビットから成る部分集合を選択又は導出することができる。] [0039] 特徴点の完全な集合を多数の形で表現することができる。好ましい実施形態では、画像記述子は、多数の情報フィールドを含むビットストリームである。第1のフィールドは特徴の個数である。そして、各特徴は、ビットストリームにおいて特徴点座標(x及びy)として表現され、次に識別子が続く。任意選択で、特徴の数を記憶するのではなく、未使用フィールドを表すためにセットされたフラグとともにパディングが使用されてもよい。] [0040] 上述したように、画像特徴間の完全照合手順は、2つの段階を含む。] [0041] 第1の段階は、1つの画像からの全ての特徴を第2の画像からの全ての特徴と比較することを含む。共に長さNである2つの特徴識別特性B1及びB2間で照合を実施するために、ハミング距離を取る。] [0042] ] [0043] ここで、] [0044] ] [0045] は排他的OR(XOR)演算子である。] [0046] 一実施形態では、最小ハミング距離Hを有する3つの一意的な対を見つける。2つの画像間の特徴ベースの累積ハミング関数は、3つの個々のハミング距離の合計である。] [0047] 第2のステップは、幾何学的制約条件を適用して、それらの画像が真の一致であるか又は偽の一致であるかを判断することを含む。幾何学的制約条件の適用は、ハミング距離と比較して計算コストが比較的高い。複雑度を最小にするために、潜在的な一致に関する所定の閾値未満の累積ハミング距離を有する画像対のみを、幾何学的方法を使用して比較する。1つの可能な実施形態では、3つの特徴点(a、b、及びc)から成る集合を選ぶ。図5に示すように、これらの3つの点を使用して、特徴間の線長比を制約条件として使用することができる。識別子内の関連付けられる座標情報を使用して、3つの特徴点間のユークリッド距離、ab、ac、及びbcを得ることによって、線長比を計算する。2つの線長比、 L1=ab/ac 及び L2=ab/bc を得る。] [0048] 画像A及びBからの線長比間の距離の測定値を以下のように定義する。] [0049] ] [0050] 有利には、画像内の定義される点間の線長比は、回転、平行移動、及びスケーリングのような変形に対し不変であるため、上記の幾何学的制約は、そのような幾何学的変形を受けた画像の照合に適している。しかしながら、設計要件に整合する他の適切な幾何学的制約条件を使用してもよい。] [0051] 一実施形態では、2つの閾値を距離測定値に適用する。一方は個々の測定値の大きさを制約するためのものであり、他方は距離の合計を制約するためのものである。] [0052] 代替的に、累積ハミング距離制約条件(及び/又は対的(pairwise)ハミング距離制約条件)を使用して、3つの特徴点対から成る複数の候補集合を予め選択することができる。次に、幾何学的一致が見つかるか、又はこれ以上候補集合が残っていなくなるまで、幾何学的制約条件を、(たとえば累積ハミング距離によって順序付けされている場合がある)候補集合のそれぞれに順番に適用することができる。] [0053] 上記で説明したように、本発明の画像照合技法は、英国特許出願0719833.6号明細書に開示される方法のような他の画像照合技法と組み合わせることができる。個々の識別子の全てを含む画像毎に記述子を生成する。好ましい実施形態では、識別子ビットストリームは、英国特許出願0719833.6号明細書に基づく2つの識別子と、本発明のための記述子とを含む。英国特許出願0719833.6号明細書に基づく2つの識別子のうち、第1の識別子は、画像縦横比を維持するために画像を前処理することによって生成され、他方の識別子は、画像を処理して正方形にするときに生成される。] [0054] 好ましくは、照合を、まず、非常に低い誤報閾値において、英国特許出願0719833.6号明細書のより高速なアルゴリズムを用いて実施する。閾値未満の任意の画像対を一致であると見なし、閾値を超える対(英国特許出願0719833.6号明細書では一致であると見なされない)を、次に本発明に従って処理する。最初に、累積ハミング距離を適用し、閾値を超える3つの対から成る集合を、異なっている(一致しない)と見なす。幾何学的制約を、累積ハミング距離閾値未満の3つの対から成るセットに適用する。3つの対から成る集合に関する幾何学的測定値が、幾何学的測定値に関する閾値レベル未満である場合、画像対を一致であると見なす。そうでない場合、画像対を異なっていると見なす。] [0055] 上記の方法を実行するための、一実施形態による、本発明を実施するための装置を図6に示す。実施は、画像データベース230に格納されている画像のための識別子のデータベース240を構築することを含む。2つのデータベース230及び240は、同じデータベースであってもよく、又は別個のデータベースであってもよい。装置によって、問い合わせ画像250から抽出される識別子260を検索して、識別子データベース140内の一致を見つけることが可能になる。順序付けされている場合がある画像のリストをユーザ290又はクエリアプリケーションに返す。] 図6 [0056] 当業者であれば、説明した実施形態に対し多くの変形及び変更を行うことができることを理解するであろう。たとえば、説明した実施形態は、特徴検出に基づいて、画像識別特性が導出される画像領域を識別するが、他の技法を使用して、画像を代表する画像領域又は画像内で重要な画像領域を識別してもよい。さらに、説明される実施形態は、画像勾配法に基づく特徴検出器を使用するが、他の適切な方法を使用して画像内の対象点又は領域を検出してもよい。同様に、最良の又は最強の検出される特徴点又は対象点を選択するための他の技法も可能である。] [0057] 加えて、説明した実施形態において使用される3つの特徴点から成る集合に関連付けられる線長比に関連する距離測定と異なる様々な幾何学的制約のうちの1つ又は複数を使用することが可能である。たとえば、任意の数の特徴点を、距離測定値と合わせて使用することができる。代替的に、他の幾何学的制約は、特徴点間の角度に基づいてもよい。さらに、アフィンモデルを使用して、幾何学的制約を定義してもよい。] [0058] 本発明の精神及び範囲に入る全ての変形、変更、及び均等物を含むことを意図している。] [0059] 参照 [1]OpenCVReference Manual, Chapter 1: Image Processing Gradients, Edge and Corners - “FindCornerSubPix”: http://opencvlibrary.sourceforge.net/CvReference]
权利要求:
請求項1 画像に対応する信号を処理することによって前記画像の表現を導出する方法であって、前記画像の複数の領域を識別することであって、各領域は前記画像を代表するか又は該画像にとって有意である、識別すること、並びに識別された画像領域毎に、該画像領域の少なくとも一部分の関数を導出すること、及び前記関数を使用することであって、該画像領域の前記少なくとも一部分の中間表現を取得する、使用すること、並びに前記複数の画像領域のうちの2つ以上の画像領域の前記中間表現から前記画像の前記表現を導出すること、を含む、方法。 請求項2 識別された画像領域毎に、該画像領域の関数を導出することであって、前記画像の平行移動、スケーリング、又は回転されたバージョンの前記関数は、該画像領域の前記関数の平行移動又はスケーリングされたバージョンである、導出することを含む、請求項1に記載の方法。 請求項3 前記画像の複数の領域を識別するステップは、前記画像の特徴を識別すること、及び前記画像の識別された特徴に対応する画像領域を選択すること、を含む、請求項1又は2に記載の方法。 請求項4 前記画像領域を選択するステップは、前記画像の複数の前記識別された特徴を特徴強度に従って選択すること、及び前記選択された複数の前記識別された特徴に対応する画像領域を確定すること、を含む、請求項3に記載の方法。 請求項5 前記画像領域は、画像の特徴の周囲の所定の画像エリアに基づく、請求項3又は4に記載の方法。 請求項6 前記画像領域を選択するステップは、前記画像の識別された特徴に対応する複数の画像領域を、識別された特徴の前記画像内における位置に従って選択することを含む、請求項3、4、又は5に記載の方法。 請求項7 前記選択された複数の画像領域は、前記画像にわたって実質的に分散している、請求項6に記載の方法。 請求項8 各選択された画像領域は、他の選択された画像領域の前記特徴から前記画像内で少なくとも所定の距離だけ離れている特徴に対応する、請求項6又は7に記載の方法。 請求項9 前記画像の特徴を識別するステップは、特徴を検出するために強度画像勾配法を使用する、請求項3から請求項8までのいずれか1項に記載の方法。 請求項10 前記画像領域の少なくとも一部分の関数を導出するステップは、前記画像領域にわたる線に沿って第1の汎関数を適用することを含み、前記方法は、前記画像領域の前記少なくとも一部分の中間表現を取得するために、前記導出された関数に第2の汎関数を適用することをさらに含む、請求項1から請求項9までのいずれか1項に記載の方法。 請求項11 前記中間表現は一次元関数である、請求項1から請求項10までのいずれか1項に記載の方法。 請求項12 2つ以上の前記画像領域の前記中間表現から前記画像の前記表現を導出するステップは、前記画像領域の前記中間表現から各画像領域の表現を導出すること、及び前記画像の前記表現を導出するために、前記画像領域の複数の導出された表現を使用すること、を含む、請求項1から請求項11までのいずれか1項に記載の方法。 請求項13 前記画像領域の前記中間表現から各画像領域の表現を導出するステップは、前記中間表現の周波数表現の複数の周波数成分を使用して、前記画像領域の前記少なくとも一部分の前記中間表現を処理することを含む、請求項12に記載の方法。 請求項14 前記画像の前記表現を導出するステップは、選択された複数の識別された画像領域の対応する中間表現から導出された、該選択された複数の識別された画像領域の表現の、選択された複数の部分を結合することを含む、請求項1から請求項13までのいずれか1項に記載の方法。 請求項15 前記複数の画像領域のうちの2つ以上の画像領域の前記中間表現から前記画像の前記表現を導出するステップは、所定の数の画像領域の前記中間表現を使用し、該所定の数は好ましくは2〜256の範囲にある、請求項1から請求項14までのいずれか1項に記載の方法。 請求項16 各画像領域に関連する幾何学的情報を、前記識別された画像領域の導出された表現と関連付けることをさらに含む、請求項1から請求項15までのいずれか1項に記載の方法。 請求項17 請求項1から請求項16までのいずれか1項に記載の方法を使用して前記画像の表現を導出すること、及び前記表現を前記画像と関連付けること、を含む、画像を識別するための方法。 請求項18 請求項1から請求項17までのいずれか1項に記載の方法を使用して導出された各画像の表現を導出することを含む、画像を比較するための方法。 請求項19 第1の画像の前記表現に関連付けられる画像領域を、第2の画像の前記表現に関連付けられる画像領域と比較することを含む、請求項18に記載の画像を比較するための方法。 請求項20 前記第1の画像の画像領域の表現と、前記第2の画像の画像領域の表現との間のハミング距離を求めるために、前記第1の画像の前記表現及び前記第2の画像の前記表現を使用すること、及び前記対応する画像領域の前記表現間の前記ハミング距離が第1の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を潜在的な一致として識別すること、を含む、請求項19に記載の方法。 請求項21 前記第1の画像及び前記第2の画像の複数の画像領域の表現に関するハミング距離を求めることを含む、請求項20に記載の方法。 請求項22 前記第1の画像及び前記第2の画像から所定の数の画像領域対を識別することであって、該識別される対は、前記第1の所定の閾値未満であるとともに最も低いハミング距離が求められる、対応する表現を有している、識別することをさらに含む、請求項21に記載の方法。 請求項23 前記画像領域の前記識別される対における各領域は一意的である、請求項22に記載の方法。 請求項24 前記画像領域の前記識別された対の前記表現に関する前記ハミング距離の合計を使用して累積ハミング距離を求めること、及び前記画像領域の前記識別された対の前記表現の前記累積ハミング距離が第2の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を潜在的な一致として識別すること、をさらに含む、請求項21、22、又は23に記載の方法。 請求項25 前記画像が一致であるか否かを判断するために、潜在的な一致であると判断された複数の画像領域対又は画像対に関する幾何学的情報に幾何学的制約条件を適用することであって、ことを含む、請求項20から請求項24までのいずれか1項に記載の方法。 請求項26 幾何学的制約条件を適用するステップは、前記第1の画像内の所定の数の画像領域間の距離の第1の比を求めること、前記第2の画像内の前記所定の数の画像領域間の距離の第2の比を求めること、及び前記第1の比と前記第2の比との間の差分が第3の所定の閾値未満である場合、前記第1の画像及び前記第2の画像を一致であると判断すること、を含む、請求項25に記載の方法。 請求項27 前記所定の数は3である、請求項26に記載の方法。 請求項28 幾何学的制約条件を適用するステップは、前記第1の画像及び前記第2の画像のそれぞれについて、以下の式を使用して、前記3つの画像領域に対応する点(a、b、及びc)間のユークリッド距離の比を計算すること、L1=ab/ac、及びL2=ab/bc並びに、以下の式を使用して、前記第1の画像及び前記第2の画像(A,B)の線長比(L1,L2)間の距離を測定すること、を含む、請求項27に記載の方法。 請求項29 前記第3のしきい値は、G1、G2、及びG1+G2のうちの1つ又は複数に関する閾値を含む、請求項28に記載の方法。 請求項30 表現の比較に基づいて前記複数の画像から照合する画像を選択することを含む、請求項18から請求項29までのいずれか1項に記載の方法。 請求項31 請求項1から請求項29までのいずれか1項に記載の方法を使用して導出される表現の、例えば送信又は受信を含む使用。 請求項32 請求項1から請求項29までのいずれか1項に記載の方法を実行するための装置。 請求項33 前記装置の動作を制御して請求項1〜29のいずれか一項に記載の方法を実行させるための制御装置を備える、請求項30に記載の装置。 請求項34 画像及び/又は画像の表現を記憶する記憶手段、例えば画像データベース及び/又は記述子データベース、表示手段、並びに画像選択手段のうちの1つ又は複数をさらに備える、請求項31に記載の装置。 請求項35 コンピュータによって実行されると、請求項1〜29のいずれか一項に記載の方法を実施する命令を備えるコンピュータ記憶媒体。
类似技术:
公开号 | 公开日 | 专利标题 JP6599421B2|2019-10-30|Feature extraction and matching and template update for biometric authentication US10176200B2|2019-01-08|Efficient image matching for large sets of images Qureshi et al.2015|A bibliography of pixel-based blind image forgery detection techniques Ardizzone et al.2015|Copy–move forgery detection by matching triangles of keypoints KR102131104B1|2020-07-07|바이오메트릭 시스템들을 위한 안구-혈관 및 얼굴 인식을 위한 이미지 및 피쳐 품질, 이미지 강화 및 피쳐 추출, 및 얼굴 및/또는 서브-얼굴 정보와 안구-혈관의 융합 Nam et al.2014|Local decorrelation for improved pedestrian detection Liu et al.2012|Extended local binary patterns for texture classification US9396393B2|2016-07-19|Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters Yuan2011|Blind forensics of median filtering in digital images Wang et al.2009|Effective image splicing detection based on image chroma Bo et al.2010|Image copy-move forgery detection based on SURF Asghar et al.2017|Copy-move and splicing image forgery detection and localization techniques: a review Jaberi et al.2014|Accurate and robust localization of duplicated region in copy–move image forgery Kandaswamy et al.2005|Efficient texture analysis of SAR imagery JP5054122B2|2012-10-24|改良された画像識別 Garcia et al.2015|Face-spoofing 2D-detection based on moiré-pattern analysis Mahmood et al.2018|A robust technique for copy-move forgery detection and localization in digital images via stationary wavelet and discrete cosine transform Nam et al.2014|Local decorrelation for improved detection Amerini et al.2010|Geometric tampering estimation by means of a SIFT-based forensic analysis Huang et al.2008|Detection of copy-move forgery in digital images using SIFT algorithm Nishiyama et al.2010|Facial deblur inference using subspace analysis for recognition of blurred faces Guo et al.2013|Duplication forgery detection using improved DAISY descriptor Patraucean et al.2013|Detection of mirror-symmetric image patches JP5175854B2|2013-04-03|画像認識のための画像記述子 Justino et al.2006|Reconstructing shredded documents through feature matching
同族专利:
公开号 | 公开日 US20110038541A1|2011-02-17| JP5431362B2|2014-03-05| CN101911100A|2010-12-08| KR101506060B1|2015-03-25| US8660385B2|2014-02-25| GB0800364D0|2008-02-20| CN101911100B|2015-08-26| EP2240887A1|2010-10-20| KR20100112155A|2010-10-18| EP2240887B1|2014-01-01| WO2009087340A1|2009-07-16|
引用文献:
公开号 | 申请日 | 公开日 | 申请人 | 专利标题 JPH09330414A|1996-06-12|1997-12-22|Ckd Corp|画像マッチング方法およびその装置| JP2005317020A|2004-04-27|2005-11-10|Microsoft Corp|マルチスケールの有向パッチ(multi−scaleorientedpatches)を使用したマルチ画像フィーチャ(feature)のマッチング|US9116898B2|2012-03-28|2015-08-25|Fujitsu Limited|Information conversion device, computer-readable recording medium, and information conversion method|CN1267849C|2004-07-02|2006-08-02|清华大学|基于断纹检测的指纹识别方法| US7375745B2|2004-09-03|2008-05-20|Seiko Epson Corporation|Method for digital image stitching and apparatus for performing the same| US7570794B2|2005-09-02|2009-08-04|Gm Global Technology Operations, Inc.|System and method for evaluating a machined surface of a cast metal component| EP1912160B1|2006-10-11|2012-05-16|Mitsubishi Electric R&D Centre Europe B.V.|Image descriptor for image recognition| GB0700468D0|2007-01-10|2007-02-21|Mitsubishi Electric Inf Tech|Improved image identification| GB0712388D0|2007-06-26|2007-08-01|Mitsubishi Electric Inf Tech|High Performance Image Identification| GB0719833D0|2007-10-10|2007-11-21|Mitsubishi Electric Inf Tech|Enhanced image identification|GB0807411D0|2008-04-23|2008-05-28|Mitsubishi Electric Inf Tech|Scale robust feature-based indentfiers for image identification| JP4935961B2|2009-04-14|2012-05-23|日本電気株式会社|画像識別子抽出装置| CN104412201B|2012-05-09|2018-09-21|苹果公司|基于跟踪窗口来改变计算设备的输出| CN104520878A|2012-08-07|2015-04-15|Metaio有限公司|提供用于描述对象表示的至少一个特征的特征描述符的方法| US9361538B2|2012-12-26|2016-06-07|Microsoft Technology Licensing, Llc|Real time photometric edge description| US10062083B2|2013-03-08|2018-08-28|Curalate, Inc.|Method and system for clustering and classifying online visual information| US9939901B2|2014-09-30|2018-04-10|Apple Inc.|Haptic feedback assembly| US10031925B2|2014-10-15|2018-07-24|Thinkcx Technologies, Inc.|Method and system of using image recognition and geolocation signal analysis in the construction of a social media user identity graph| US9390315B1|2015-06-25|2016-07-12|A9.Com, Inc.|Image match for featureless objects| KR101963446B1|2018-10-18|2019-03-28|남양진흥기업|터널 시공방법 및 그 구조|
法律状态:
2011-06-04| A621| Written request for application examination|Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110603 | 2012-09-07| A977| Report on retrieval|Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120907 | 2012-09-12| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120911 | 2012-12-12| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121211 | 2013-07-03| A131| Notification of reasons for refusal|Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130702 | 2013-09-03| RD12| Notification of acceptance of power of sub attorney|Free format text: JAPANESE INTERMEDIATE CODE: A7432 Effective date: 20130902 | 2013-09-03| RD01| Notification of change of attorney|Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20130902 | 2013-09-03| RD04| Notification of resignation of power of attorney|Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130902 | 2013-09-19| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20130902 | 2013-09-21| A521| Written amendment|Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130920 | 2013-10-24| TRDD| Decision of grant or rejection written| 2013-11-19| A01| Written decision to grant a patent or to grant a registration (utility model)|Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131119 | 2013-12-12| A61| First payment of annual fees (during grant procedure)|Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131204 | 2013-12-13| R150| Certificate of patent or registration of utility model|Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5431362 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 | 2016-11-22| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-02-20| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2018-02-28| S531| Written request for registration of change of domicile|Free format text: JAPANESE INTERMEDIATE CODE: R313531 | 2018-02-28| S111| Request for change of ownership or part of ownership|Free format text: JAPANESE INTERMEDIATE CODE: R313113 | 2018-03-08| R350| Written notification of registration of transfer|Free format text: JAPANESE INTERMEDIATE CODE: R350 | 2018-11-20| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2019-05-17| S111| Request for change of ownership or part of ownership|Free format text: JAPANESE INTERMEDIATE CODE: R313113 | 2019-05-27| R350| Written notification of registration of transfer|Free format text: JAPANESE INTERMEDIATE CODE: R350 | 2019-11-19| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2020-11-12| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2021-07-01| S533| Written request for registration of change of name|Free format text: JAPANESE INTERMEDIATE CODE: R313533 | 2021-07-28| R350| Written notification of registration of transfer|Free format text: JAPANESE INTERMEDIATE CODE: R350 | 2021-11-11| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 | 2022-02-09| R250| Receipt of annual fees|Free format text: JAPANESE INTERMEDIATE CODE: R250 |
优先权:
[返回顶部]
申请号 | 申请日 | 专利标题 相关专利
Sulfonates, polymers, resist compositions and patterning process
Washing machine
Washing machine
Device for fixture finishing and tension adjusting of membrane
Structure for Equipping Band in a Plane Cathode Ray Tube
Process for preparation of 7 alpha-carboxyl 9, 11-epoxy steroids and intermediates useful therein an
国家/地区
|